AI时代热词一堆一堆的,前段时间大家都在聊token。我最早听说这个词还是在游戏王,里面怪物的衍生物叫token。如果你没听过游戏王,说明你还年轻如果你没听过token,没事了去玩吧。
开玩笑的,今天我给大家简单讲讲token,并说说我收集的几个热知识,跟上AI时代脚步!1、什么是Token?Token(标记),是AI大模型处理文本时的最小语义单位。冷知识,AI不是人,你说一句话它没法直接理解。大模型只能理解编码,所以得把文本拆分成模型可计算的形式。以下面这句话为例:
大模型就是在不断计算token推导下一个token。所以大模型总像打字机一样哒哒哒哒输出。
因为是最小单位,所以现在很多大模型用量和结算单位也是token。甚至有公司还提出绩效和token挂钩,谁消耗的多说明谁AI用的多,更厉害。地狱热评:排名靠后一点的同事就会被蒸馏成 Skill。
2、Token曾经花样百出的中文名之前网上有人说token可以翻译成“精力”,也有段子说可以翻译成“瑞幸”,因为大模型上班消耗token,我上班消耗瑞幸。还有翻译成浙大、北大、哈工大...
要我说token还可以翻译成毕导,毕——token就像货币一样是衡量单位,导——可以导出你需要的结果
当然,3月24号,token已经被正式定名为词元了!也是贴切的翻译!冷笑话,如果凑齐两个token就可以进入二次元了(谐音二词元)。
3、Token到底有多贵?要花多少钱?
我让AI对比了下主流大模型每一百万个token的单价,还有一亿token的价格帮助理解概念,可以得出一些结论。
token输入价格比输出价格便宜。输入价格就是你问大模型、大模型去理解的成本。输出价格是大模型回答你的,这个更贵点也合理,毕竟思考也要成本。
国外的token要比国内的普遍要贵。最贵的是Open AI 的o3输出价,一亿token的输出价格是2w7。不过不用担心,1亿token大约是7500万字,你只要不拿AI写70本三体就花不了这么多。
国产模型日常聊天的成本,几乎等于免费。假设你问50字AI回复200字,在DeepSeek上聊一次天的成本大约只有0.00042元,豆包的成本也仅为0.002元。
但很多AI大模型是限制你的token使用额度的。比如claude每天和每周都有固定的额度限制,你想多问只能充值升级或者等24h。
地狱好消息,不用担心戴镣铐了。就昨天,Anthropic宣布将正式引入强身份验证机制。你可能需要上传实时手持身份证的自拍照,才能继续用Claude。
最后我们终于发现——
4、Token爆火后的一些诡异现象
现象一:有人的token额度花不完
我有大厂的朋友表示,公司每个月有几千块的AI花费额度。但用不完,根本用不完,只能选择用最贵的AI来看看黄金走势这样子。但公司已经裁掉了一堆外包了。
现象二:有人的token花太快
我有个不愿透露姓名的程序员朋友,表示他现在没有token都写不了代码了。上班先用token写着,如果用完了就不写了,等公司新的token到了再写。
现象三:为了省token而不择手段
对于用token太快的人来说,如何学会省token也是一门功课。本来AI用着用着想要辱骂的,但自从知道对着AI说任何话都会消耗token后,都不骂AI了。
而智慧的祖先们其实早就发现了省token的方法——文言文!既然token和我们输入输出的字符数相关,那我们把文字精简一下就能省下一笔了。
5、现在开始进入哲学思考
有网友表示,AI诞生前,大家从来没想过自己也是有token的。从来没有意识到自己的token也是很珍贵的。每天你处理信息等也是要消耗token的,有时候你累麻了,任何消息都不想回复了,可能就是你没token了。
下回领导找你办事,就这么回复知道吗?
以上就是关于token的一点分享。最近我们公司也在组织AI小讲堂,大家分享自己AI技能的使用技巧。还别说,最近让我真琢磨出了一些工作提效方法,等我整理好了分享给大家!
大家在工作中用token用得多吗?你们公司咋用token呢?欢迎评论区分享!